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Three-dimensional position-correct component feed uses cameras mounted on 
robots with component grabs, to monitor deviation from standard positions 



Abstract: 

Abstract of DE1 031 9253 

The components (4) are removed from a container (6) by a robot (1) in a chosen 
three-dimensional position. Sensors, esp. cameras (2), are fastened directly or 
indirectly to the robot and moveable with it, to monitor any deviation of the 
components held by a grab (3), from a standard position. The same sensors are 
used to localize parts for the purpose of being gripped, and to determine the 
degree of deviation. The cameras are calibrated relative to a robot-related 
coordinate system. 
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(54) Bezeichnung: Dreidimensional lagegerechtes Zufuhren mit Roboter 

(57) Zusammenfassung: Zum lagegerechten Zufuhren von 
Teilen, insbesondere von Teilen, die mittels Roboter aus ei- 
nem Behalter gegriffen wurden, wird uber am Roboter di- 
rekt oder indirekt befestigte und mit dem Roboter bewegba- 
re Sensoren, vorzugsweise Kameras, in gegriffenem Zu- 
stand die Abweichung der aktuellen Teilelage von einer 
Standardlage bestimmt, vorzugsweise in Bewegung. 
Hauptvorteil ist die Zeitersparnis, da Bildaufnahme, Bild- 
auswertung, Korrekturrechnung und sogar die Aktualisie- 
rung der Roboterbahn wahrend der ohnehin erforderlichen 
Bewegung durchgefuhrt werden konnen. Aufierdem entfallt 
der fur einen extra Korrekturschritt erforderliche Platz fur 
eine Ablage und/oder fest montierte Kameras. 
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Beschreibung 

[0001] Die Erfindung betrifft das dreidimensional la- 
gegerechte Zufuhren von ungenau oder unbekannt 
gegriffenen Teilen. 

[0002] Systeme zur automatischen Bearbeitung 
oder Montage von Teilen benotigen eine Zufuhrung 
der Teile in einer bestimmten gewunschten dreidi- 
mensionalen Lage, oft mit kleinen Lagetoleranzen. 
Zufuhrsysteme werden aus Flexibilitatsgrunden zu- 
nehmend mit Robotern realisiert. Ein haufiges Pro- 
blem bei solchen Anwendungen ist es, daft Teile auf- 
grund der konkreten Randbedingungen nur ungenau 
gegriffen werden konnen. 

[0003] Die Aufgabe ist besonders vordringlich beim 
Greifen von ungeordneten Teilen aus einem Behalter, 
da aufgrund der Komplexitat dieser Aufgabenstellung 
das genaue Greifen sehr schwierig ist; aber auch in 
einfacheren Fallen kann die Aufgabe aus konstrukti- 
ven Grunden relevant sein, wenn zum Beispiel bei 
ungenau vorpositionierten Teilen Sauggreifer mit 
groftzugig dimensioniertem Faltenbalg oderZangen- 
greifer mit groftzugig dimensionierter Maulweite ver- 
wendet werden mussen. 

[0004] Hierfur wurde deshalb als Losung mehrfach 
eine mehrschrittige Vorgehensweise vorgeschlagen: 
das Teil wird in einem ersten Schritt aus der Kiste iso- 
liert herausgeholt, dann auf eine mechanische Abla- 
ge gelegt; im zweiten Schritt wird das Teil dann er- 
neut gegriffen, jetzt unter vereinfachten Randbedin- 
gungen. 

[0005] Nach (H. Geisselmann: Sensor-Robo- 
ter-System zum Vereinzeln und Ordnen von Werkstu- 
cken; FhG-Berichte 2-80, 1980, S. 26-28) wird bei- 
spielsweise ein Stahlguftteil mittels eines flexibel auf- 
gehangten Magnetgreifers blind aus einer Kiste ge- 
angelt und dann auf einer Ebene abgelegt. Im zwei- 
ten Schritt wird die Lage des so isolierten und vor ei- 
nem homogenen Hintergrund befindlichen Teil mittels 
Bildverarbeitung bestimmt, daraufhin vom Roboter 
erneut gegriffen und der weiteren Bearbeitung zuge- 
fuhrt. 

[0006] Teile, die mittels Roboter nur ungenau gegrif- 
fen werden konnen, werden in der Industrie gelegent- 
lich in eine selbstzentrierende Zwischenablage ge- 
legt und dann erneut gegriffen. 

[0007] Nach (M. Berger, G. Bachler et al.: A Vision 
Driven Automatic Assembly Unit: 23th int. Workshop 
of the Austrian Association for Pattern Recognition, 
Steyr, Austria, May 1999, Teil A: Robust Bin Picking, 
pp 205-214. Teil B: Pose Determination from a Single 
Image, pp 21 5-224) wurde fur den "Griffin die Kiste" 
demonstriert, wie in einem ersten Schritt uber ein 
Bildverarbeitungssystem gesteuert zunachst ledig- 



lich die Lage homogener Flachen bestimmt werden 
kann, an denen man mittels Sauggreifer ein Teil aus 
der Kiste holen und isolieren kann, ohne die genaue 
Lage des Teils bestimmen zu mussen. Das Teil wird 
dann auf eine ebene Ablage gelegt. Im zweiten 
Schritt wird uber ein Bildverarbeitungssystem die 
dreidimensionale Lage des so isolierten Teils genau 
bestimmt, daraufhin vom Roboter erneut gegriffen 
und der weiteren Bearbeitung zugefuhrt. 

[0008] Es wurde vorgeschlagen, ein gegriffenes 
Werkstuck mit dem Roboter vor einer (zusatzlichen) 
fest installierten Kamera zu prasentieren und damit 
die tatsachliche absolute Lage des Werkstucks zu 
bestimmen, z.B, nach US 4305 130. 

[0009] Nachteil der bekannten Vorgehensweisen ist 
der Platzbedarf fur die Ablage und/oder die fest mon- 
tierten Kameras, und ggf. fur zusatzlich erforderliche 
Beleuchtungen, aufterdem der Zeitbedarf fur den 
zweiten Schritt. 

[001 0] Aufgabe der Erfindung ist es, diese Nachteile 
zu vermeiden. 

[0011] Die Aufgabe wird nach Anspruch 1 gelost. 
Die nach Anspruch 1 bestimmte Abweichung wird 
verwendet, um, durch Korrektur einer vorzugsweise 
vorab fur die Standardlage bestimmten Roboterbe- 
wegung, die gewunschte Zufuhrlage herbeizufuhren. 
Wesentlich dabei ist, daft die Kameras) zur Bestim- 
mung der Lageabweichung am Roboter montiert ist 
(sind), also mit dem Roboter bewegt werden, wo- 
durch es ermoglicht wird, daft die Messung der Ab- 
weichung und die Korrektur der Zufuhrbewegung 
wahrend der Bewegung zwischen Greifposition und 
Zufuhrposition realisiert werden kann. Die Abwei- 
chungsbestimmung geschieht vorzugsweise unter 
Bezug auf ein roboterbezogenes Koordinatensys- 
tem, besonders bevorzugt unter Bezug auf den Effek- 
tor, an dem die betreffenden Sensoren befestigt sind, 
denn dadurch wird die Rechnung von der aktuellen 
globalen Kameralage entkoppelt und fur eine Reali- 
sierung in Bewegung vereinfacht. 

[0012] Ein Ausfuhrungsbeispiel wird in Fig. 1 bis 5 
gezeigt; lediglich der einfacheren Darstellung halber 
ist alles zweidimensional gezeichnet, aus dem glei- 
chen Grund ist der Roboter mit weniger als 6 Frei- 
heitsgraden gezeichnet. Rechts des Roboters sei die 
Greifposition, links die Zufuhrposition. 

[0013] Fig. 1 und 2 zeigen den Einrichtbetrieb, 
Fig. 3 bis 5 den Automatikbetrieb. 

[0014] Fig. 1 zeigt einen Roboter 1 , an dessen End- 
effektor (vor dem Greifer) zwei Kameras 2 befestigt 
sind. Die Kameras sind so angeordnet, daft aus den 
Werkstuckmerkmalen, die sie erfassen, die dreidi- 
mensionale Lage des Werkstucks bestimmt werden 
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kann, relativ zu den Kameras bzw. dem Effektor, an 
dem sie befestigt sind. In dem Behalter 6 befinden 
sich Werkstucke 4. Das Werkstuck 4a wurde aus 
dem Behalter gegriffen; es hangt etwas unsymmet- 
risch an dem Greifer 3. Diese Lage des Werkstucks 
4a wird willkurlich als Standardlage definiert, vor- 
zugsweise mit den Kameras vermessen, und gespei- 
chert. 

[0015] Der Roboter wird mit Teil in Standardlage in 
die Zufuhrposition (hier Montageposition) gebracht, 
siehe Fig. 2. Dort sollen die Werkstucke in ein Werk- 
zeug 5 gesteckt werden. Fig. 2 zeigt den Roboter in 
Montageposition fur Standardlage des Werkstucks; 
die zugehorige Roboterlage wird gespeichert. Fig. 3 
zeigt das Aufnehmen eines Teils im Automatikbe- 
trieb; das Teil sei trotz Kamerafuhrung zufalligerwei- 
se etwas schief gegriffen worden. Fig. 4 zeigt die Ab- 
lageposition, die sich ohne Korrektur dadurch erge- 
ben wurde. Aus Zeitersparnisgrunden vorzugsweise 
wahrend der Bewegung zwischen dem Greifen und 
dem Zufuhren, beispielsweise in der in Fig. 3 gezeig- 
ten Situation, wird uberdie Kameras mit Bildverarbei- 
tung die Lageabweichung des Teils 4b gegenuber 
der Standardlage (4a) bestimmt. Die Montagebewe- 
gung des Roboters wird dieser Lageabweichung ent- 
prechend korrigiert. Fig. 5 zeigt die Systemkompo- 
nenten in dementprechend korrigierter Zufuhrlage. 

[0016] Die Lageabweichung wird rechentechnisch 
vorteilhaft, aber nicht notwendigerweise, ausge- 
druckt in einem roboterbezogenen Koordinatensys- 
tem. Man verwendet vorteilhaft als Bezugspunkt fur 
die rotatorischen Komponenten der Lageabweichung 
einen Punkt an dem Effektor, an dem die Kameras 
montiert sind. Dann gestaltet sich die Kamerakalib- 
rierung besonders einfach (s.u.). 

[0017] Hauptvorteil ist die Zeitersparnis, da Bildauf- 
nahme, Bildauswertung, Korrekturrechnung und so- 
gardie Aktualisierung der Roboterbahn wahrend der 
ohnehin erforderlichen Bewegung durchgefuhrt wer- 
den konnen. Aufcerdem entfallt der fur einen extra 
Korrekturschritt erforderliche Platz fur eine Ablage 
und/oderfest montierte Kameras. 

[0018] Bei Verwendung von Kameras hat die Bild- 
aufnahme in Bewegung den zusatzlichen Vorteil, daft 
der Hintergrund aufgrund der Bewegungsunscharfe 
strukturlos wird, die Werkstuckkanten sich also ein- 
fach vom Hintergrund trennen lassen. 

[0019] Die Kameras sind uber den Roboter definiert 
beweglich, also konnen ohne nennenswerten zusatz- 
lichen Aufwand bekannte Methoden der Kamerakali- 
brierung verwendet werden, die auf defnierten Bewe- 
gungen beruhen, z.B. nach US 6101 455 mit raum- 
festen Targets. Diese Targets konnen, irgendwo in 
Reichweite der Kameras, platzsparend angebracht 
werden, z.B. an der Decke. 



[0020] Je nach Teilegeometrie konnen Kameras 
verwendet werden, die ohnehin fur die Lokalisierung 
der Teile im Behalter erforderlich sind; es kann aber 
auch sinnvoll sein, absichtlich verschiedene Kame- 
ras mit unterschiedlichen Bildfeldgrofcen und sonstig 
unterschiedlichen Bildaufnahmeparametern zu ver- 
wenden, um z.B. Groblokalisierung der Teile im Be- 
halter einerseits und Feinabgleich wahrend der Be- 
wegung andererseits getrennt optimal gestalten zu 
konnen. 

[0021] Bevorzugt werden die Kameras an einem Ef- 
fektor mit 6 Freiheitsgraden (normalerweise der End- 
effektor) montiert; die Kameras konnen Sonderfallen 
auch an einem anderen Effektor als einem Effektor 
mit 6 Freiheitsgraden befestigt sein, wenn esdie Frei- 
heitsgrade der Montageaufgabe zulassen. 

[0022] Unter Roboter ist in dieser Anmeldung ein 
beliebiges bewegungsgrogrammierbares (steuerba- 
res oder regelbares) System zu verstehen. 

[0023] Unter Lage ist in dieser Anmeldung die drei- 
dimensionale Position und Orientierung gemeint 
(engl.: position and attitude). 

[0024] Die Standardlage ist eine in Einrichtbetrieb 
speziell oder zufallig (s. Beispiel oben) bestimmte 
Lage des werkstucks im/am Greifer/Effektor. Die spe- 
zielle Bestimmung kann explizitdurch vorzeigen oder 
implizit rein konstruktiv erfolgen, z.B. mit Nullpunkt in 
der Mitte eines Zangengreifers. 

[0025] Eine Roboterlage ist die dreidimensionale 
Lage von beweglichen Roboterkomponenten, bevor- 
zugt einfach die momentane Position und Orientie- 
rung des "Tool Center Point". 

[0026] Bei dem ungenau oder unbekannt gegriffe- 
nen Teil kann es sich naturlich auch um ein vom Ro- 
boter gegriffenes Werkzeug handeln, dessen Lage 
fur die anstehende Bearbeitung korrigiert werden 
mull, z.B. eine Lotspitze. 

[0027] Kameras haben gegenuber anderen Senso- 
ren wie z.B. triangulierenden Abstandsmessern den 
Vorteil hoherer Flexibility und leichterer Projektier- 
barkeit bei wechselnden Aufgabenstellungen; insbe- 
sondere beim Griff in die Kiste ist mit grofter Teileviel- 
falt zu rechnen. Zur dreidimensionalen Lageerken- 
nung von Teilen, mit einer oder mehreren Kameras 
sind mehrere alternative verfahren bekannt. Speziell 
vorteilhaft sind zwei oder drei nach auften gerichtete 
Kameras, die die AuGenkonturen des Teils erfassen, 
gegen bewegten und damit unscharfen Hintergrund 
oder gegen eine (ohnehin vorhandene) homogene 
Hallendecke als Hintergrund; dadurch bleibt die Ar- 
beitszelle von alien Seiten frei zuganglich. 
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Patentanspriiche 

1. Verfahren zum lagegerechten Zufuhren von 
Teilen, insbesondere von aus einem Behalter gegrif- 
fenen Teilen, in einer gewunschten dreidimensiona- 
len Lage, dadurch gekennzeichnet, daft ubereinen 
oder mehrere an einem Roboter direkt oder indirekt 
befestigte und mit dem Roboter bewegbare Senso- 
ren, vorzugsweise eine oder mehrere Kameras, in 
gegriffenem Zustand die Abweichung der aktuellen 
Teilelage von einer Standardlage bestimmt wird. 

2. Verfahren zum Positionieren von Teilen, die 
aus einem Behalter gegriffen wurden, nach Anspruch 
1 , wobei zum Lokalisieren der Teile zum Zweck des 
Greifens, einerseits, und zum Bestimmen der Abwei- 
chung der aktuellen Teilelage von einer Standardlage 
andererseits, die gleichen Sensoren verwendet wer- 
den. 

3. Verfahren nach einem der Anspruche 1 oder 2, 
dadurch gekennzeichnet, daft die Sensoren relativ zu 
einem roboterbezogenen Koordinatensystem kalib- 
riert werden. 

4. Verfahren nach Anspruch 3, dadurch gekenn- 
zeichnet, daft die Sensoren relativ zu den Roboter- 
komponenten kalibriert werden, an denen sie befes- 
tigt sind. 

5. Verfahren nach einem der Anspruche 3 oder 4, 
dadurch gekennzeichnet, daft die Kalibrierung durch 
Kamerabewegungen realisiert wird. 

6. verfahren nach einem der Anspruche 1 bis 5, 
dadurch gekennzeichnet, daft die Bestimmung der 
Abweichung der aktuellen Teilelage von einer Stan- 
dardlage durchgefuhrt wird wahrend sich der Roboter 
bewegt, vorzugsweise mit Kameras als Sensoren. 

7. Verfahren nach einem der Anspruche 1 bis 6, 
mit einer oder mehreren Kameras als Sensoren, da- 
durch gekennzeichnet, daft die Kameras wahrend 
der fur die Bestimmung der Lageabweichung reali- 
sierten Bildaufnahme zur Decke der Halle oder Ar- 
beitszelle gerichtet sind. 

Es folgen 3 Blatt Zeichnungen 
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Fig. 5 



